半监督学习（SSL）有望通过对许多未标记图像进行培训，与小标签数据集中的培训分类器相比，准确性的提高。在诸如医学成像之类的现实应用中，将收集未标记的集合，以提高权宜之计，因此未贴上：可能与代表类或类频率中的标记集合不同。不幸的是，现代的深SSL通常会使未经保证的未标记的集合变得更糟。最近的补救措施表明，过滤方法可以检测出分布未标记的示例，然后将其丢弃或减轻重量。相反，我们认为所有未标记的示例可能会有所帮助。我们介绍了一个称为Fix-A-Step的程序，该程序尽管缺乏策划，但仍可以提高常见的深SSL方法的持有准确性。关键的创新是受所有未标记数据启发的标签集的增强，并修改了梯度下降更新，以防止遵循多任务SSL损失损害标签集的精度。尽管我们的方法比替代方案更简单，但我们在所有测试的人工污染水平上显示了无标记集的所有测试水平的CIFAR-10和CIFAR-100基准的准确性提高。我们进一步建议SSL的真实医疗基准：识别心脏超声图像的视图类型。我们的方法可以从353,500个真正未经贴标记的图像中学习，以提供跨医院的概括的收益。

为了使人工代理在不断变化的环境中执行有用的任务，它们必须能够检测并适应新颖性。但是，视觉新颖性检测研究通常仅在重新利用的数据集（例如最初用于对象分类的CIFAR-10）上进行评估。这种做法将新颖性限制在不同对象类型的刻板图像上。我们建议需要新的基准来代表开放世界的挑战。我们的新型NovelCraft数据集包含图像和符号世界的多模式情节数据，该数据由代理在视频游戏世界中完成POGO-Stick组装任务。在某些情节中，我们插入可能影响游戏玩法的新颖对象。新颖性在复杂场景中的大小，位置和遮挡可能会有所不同。我们基于最新的新颖性检测和广义类别发现模型，重点是全面评估。结果暗示了未来研究的机会：了解不同类型错误的特定任务成本的模型可以更有效地检测和适应开放世界中的新颖性。

Traditionally, data analysis and theory have been viewed as separate disciplines, each feeding into fundamentally different types of models. Modern deep learning technology is beginning to unify these two disciplines and will produce a new class of predictively powerful space weather models that combine the physical insights gained by data and theory. We call on NASA to invest in the research and infrastructure necessary for the heliophysics' community to take advantage of these advances.

Point-of-Care Ultrasound (POCUS) refers to clinician-performed and interpreted ultrasonography at the patient's bedside. Interpreting these images requires a high level of expertise, which may not be available during emergencies. In this paper, we support POCUS by developing classifiers that can aid medical professionals by diagnosing whether or not a patient has pneumothorax. We decomposed the task into multiple steps, using YOLOv4 to extract relevant regions of the video and a 3D sparse coding model to represent video features. Given the difficulty in acquiring positive training videos, we trained a small-data classifier with a maximum of 15 positive and 32 negative examples. To counteract this limitation, we leveraged subject matter expert (SME) knowledge to limit the hypothesis space, thus reducing the cost of data collection. We present results using two lung ultrasound datasets and demonstrate that our model is capable of achieving performance on par with SMEs in pneumothorax identification. We then developed an iOS application that runs our full system in less than 4 seconds on an iPad Pro, and less than 8 seconds on an iPhone 13 Pro, labeling key regions in the lung sonogram to provide interpretable diagnoses.

Recent research in clustering face embeddings has found that unsupervised, shallow, heuristic-based methods -- including $k$-means and hierarchical agglomerative clustering -- underperform supervised, deep, inductive methods. While the reported improvements are indeed impressive, experiments are mostly limited to face datasets, where the clustered embeddings are highly discriminative or well-separated by class (Recall@1 above 90% and often nearing ceiling), and the experimental methodology seemingly favors the deep methods. We conduct a large-scale empirical study of 17 clustering methods across three datasets and obtain several robust findings. Notably, deep methods are surprisingly fragile for embeddings with more uncertainty, where they match or even perform worse than shallow, heuristic-based methods. When embeddings are highly discriminative, deep methods do outperform the baselines, consistent with past results, but the margin between methods is much smaller than previously reported. We believe our benchmarks broaden the scope of supervised clustering methods beyond the face domain and can serve as a foundation on which these methods could be improved. To enable reproducibility, we include all necessary details in the appendices, and plan to release the code.

在许多情况下，更简单的模型比更复杂的模型更可取，并且该模型复杂性的控制是机器学习中许多方法的目标，例如正则化，高参数调整和体系结构设计。在深度学习中，很难理解复杂性控制的潜在机制，因为许多传统措施并不适合深度神经网络。在这里，我们开发了几何复杂性的概念，该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合，我们表明，许多常见的训练启发式方法，例如参数规范正规化，光谱规范正则化，平稳性正则化，隐式梯度正则化，噪声正则化和参数初始化的选择，都可以控制几何学复杂性，并提供一个统一的框架，以表征深度学习模型的行为。

运营商网络已成为有希望的深度学习工具，用于近似偏微分方程（PDE）的解决方案。这些网络绘制了描述材料属性，迫使函数和边界数据的输入函数到PDE解决方案。这项工作描述了一种针对操作员网络的新体系结构，该架构模仿了从问题的变异公式或弱公式中获得的数值解决方案的形式。这些想法在通用椭圆的PDE中的应用导致变异模拟操作员网络（Varmion）。像常规的深层操作员网络（DeepOnet）一样，Varmion也由一个子网络组成，该子网络构建了输出的基础函数，另一个构造了这些基础函数系数的基本功能。但是，与deponet相反，在Varmion中，这些网络的体系结构是精确确定的。对Varmion解决方案中误差的分析表明，它包含训练数据中的误差，训练错误，抽样输入中的正交误差和输出功能的贡献，以及测量测试输入功能之间距离的“覆盖错误”以及培训数据集中最近的功能。这也取决于确切网络及其varmion近似的稳定性常数。 Varmion在规范椭圆形PDE中的应用表明，对于大约相同数量的网络参数，平均而言，Varmion的误差比标准DeepOnet较小。此外，其性能对于输入函数的变化，用于采样输入和输出功能的技术，用于构建基本函数的技术以及输入函数的数量更为强大。

先前的工作表明，单词在语音维度上是超级定义的，这些语音将它们与最小对竞争者区分开来。该现象已称为对比度超颗粒（CH）。我们提出了语音发作时间（fot）计划的动态神经场（DNF）模型，该模型从最小对竞争者的抑制作用中得出了CH。我们通过一项新的实验来测试模型的一些预测，该实验研究了伪金中无声的停止辅音CH。结果证明了伪造中的CH效应，这与实时计划和语音生产的效果的基础一致。与CH相比，用真实的词降低了伪金中CH的范围和大小，这与词汇和语音计划之间的互动激活的作用一致。我们讨论了模型统一一组明显不同现象的潜力，从CH到语音邻域效应到语音误差中的语音痕量效应。

跌倒是致命和非致命伤害的主要原因，尤其是对于老年人。身体内部原因（例如疾病）或外部原因（例如主动或被动扰动）可能导致不平衡。主动扰动是将外力施加到人的结果，而被动扰动是由于人类运动与静态障碍相互作用而导致的。这项工作提出了一个指标，该指标允许监视躯干及其与主动和被动扰动的相关性。我们表明，躯干摇摆的巨大变化可以与主动扰动密切相关。我们还表明，通过调节过去的轨迹，躯干运动和周围场景的预期路径和躯干摇摆，我们可以合理地预测躯干摇摆的未来路径和预期变化。这将有直接的预防应用程序。结果表明，躯干摇摆与扰动密切相关。而且我们的模型能够利用全景图中介绍的视觉提示并相应地调节预测。

在神经网络中，与任务相关的信息由神经元组共同表示。但是，对信息分布在单个神经元之间的特定方式尚不清楚：虽然部分只能从特定的单个神经元中获得，但其他部分是由多个神经元冗余或协同携带的。我们展示了部分信息分解（PID）是信息理论的最新扩展，可以解散这些贡献。由此，我们介绍了“代表性复杂性”的度量，该量度量化了访问跨多个神经元信息的难度。我们展示了这种复杂性如何直接适用于较小的层。对于较大的层，我们提出了子采样和粗粒程序，并证明了后者的相应边界。从经验上讲，为了量化解决MNIST任务的深度神经网络，我们观察到，代表性复杂性通过连续的隐藏层和过度训练都会降低。总体而言，我们建议代表性复杂性作为分析神经表示结构的原则且可解释的摘要统计量。